DLite：面向 Agentic AI 的无历史投机解码框架
🧭 LLM 推理加速 · 历史无关投机解码
Shanghai Jiao Tong University · Shanghai Innovation Institute · Tsinghua University · Infinigence-AI
DLite 复用目标模型隐藏状态进行局部投机预测，避免维护历史 KV cache，在 agentic 任务中接受长度达 2-6 并超 DSpark 最高 70%
📌 工作参考价值（3 点）
- 在电商/推荐系统的多轮对话 agent（如客服、导购）中，长历史上下文会让 draft model 接受长度骤降且 KV cache 开销大；可借鉴 DLite 的 history-free 思路：不单独维护 draft model 的历史 KV cache，直接复用 target model 的隐藏状态做局部预测，大幅降低显存和延迟。
- 两阶段训练策略（先对齐隐藏状态再训练 sequential head 恢复块内因果依赖）适合训练自定义轻量 draft 模块，在效果和资源间取得平衡，可复用于需要低延迟的在线推理服务。
- 局部简单预测替代全局上下文建模，在 agentic 多轮交互中接受长度仍能保持 2-6，说明牺牲部分长程依赖换取更低的系统开销是可行的工程折中，适合高并发场景。
循环投机解码：让多次草稿共用一次验证
🧭 LLM 推理加速 · 投机解码 ★ 深度解读
NAVER AI Lab · NAVER AI Search Platform · Korea University
DLoop 让一次验证覆盖多个草稿阶段，通过置信度门控与 loop-aware 训练，在多种投机解码上把 wall-clock speedup 提升 5–41%
📌 工作参考价值（4 点）
- 如果线上 LLM 链路（query 改写、商品/广告文案生成、推荐理由生成）采用 speculative decoding，可在 drafter 后加置信度门控：对每个 draft block 累加 log probs，与阈值比较决定是否再 draft 一轮；不增加模型和模块，只增加少量 draft forward cost，能减少 target model 验证次数，尤其适合草稿接受率高的结构化/模板化输出。
- 对已有的 EAGLE/MTP 自回归 drafter 或 DFlash/Domino/DSpark 并行 drafter，可以按 DLoop 做 loop-aware 微调：训练时用 draft model 自己的 hidden states 多轮 unroll，损失只加在最远端 block，N 取 3；不改变架构，可在既有 draft weights 上继续训练，显著提升长草稿链上的可靠性。
- 门控阈值 g 比较鲁棒，论文统一用 -0.5 或 -0.75；在业务数据上小规模扫描即可，不必训练额外 head。该方法也可与 tree verification 叠加：若已有 tree 推理加速，可沿最高分路径继续延长，进一步减少验证次数。
- 注意并发 serving 下增益会随 batch 负载上升而衰减；建议在低并发、长尾或单请求延迟敏感的场景使用，或结合动态批调度/regrouping 优化。
用草稿模型门控预测编程智能体失败的不确定性
🧭 LLM Agent 执行前失败预测门控 ★ 深度解读
Tel Aviv University · IITU
用小型草稿模型对智能体轨迹做投机打分，在动作执行前门控拦截，降低错误率与成本
📌 工作参考价值（4 点）
- 对调用黑盒 LLM API 的 Agent 工具链（如 SQL 查询、搜索 API、广告投放 API），可以在不加 logits 的情况下做执行前拦截：用一个小型开源草稿模型对已生成的思维-动作轨迹做 teacher-forced 前向，提取 surprisal / gap / entropy，再接线性 calibrator 预测下一步工具调用是否会成功。
- 特征工程上务必把 reasoning span 和 action/tool-call span 分开统计。论文显示二者熵分布相反，混在一起会抵消失败信号，phase-aware 特征带来 +5–6 AUROC。电商 Agent 里常见的“先分析再调接口”结构可以直接复用。
- 用 veto gate 替换 execute-fail-retry 循环：失败概率高时不执行、注入 replan hint 重新生成，能减少 14–19% token 成本、6–8pp 执行错误率，适合对成本敏感、工具调用昂贵的场景；但要注意 false veto 可能轻微拉低端到端成功率。
- 草稿模型在一个开源 Agent 轨迹上蒸馏后，可迁移到闭源 Agent（如 Claude），因此多模型/多供应商共存的推荐或电商 Agent 平台，可以训练一个通用不确定性打分器。
Domino：解耦推测解码中的因果建模与自回归草稿
🧭 推测解码 · 推理加速
EPIC Lab, Shanghai Jiao Tong University · School of Software Engineering, HUST · UESTC · Fudan University · Huawei
通过并行草稿骨干与轻量因果细化头解耦因果建模，配合基锚定训练，实现最高5.49倍端到端加速
📌 工作参考价值（4 点）
- 在电商对话Agent或推荐理由生成等实时LLM场景中，可借鉴Domino的并行草案+轻量因果头架构，以低计算成本引入块内依赖，提升整体吞吐。
- 基锚定训练课程（先巩固并行骨干再渐进加入因果信息）可迁移到多阶段推荐模型训练，避免直接引入强因果约束导致的不稳定。
- 解耦设计思路：将生成过程中的耗时顺序建模替换为并行初稿→顺序修正，可推广到多Agent协作中的子任务规划与结果校准。
- 工程上，Domino在SGLang服务中的实现展示了如何将推测解码无缝集成到生产级推理框架，对电商中大批量请求的LLM服务优化有直接参考价值。
Draft-OPD：投机草案模型的在线策略蒸馏
🧭 投机解码 · 在线策略蒸馏 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University · The Chinese University of Hong Kong · Peking University
提出 Draft-OPD，通过错误位置重放的在线蒸馏，解决草案模型 SFT 的分布偏移，将接受长度与加速比提升超过 20%。
📌 工作参考价值（4 点）
- 错误驱动的在线训练思路可迁移至生成式推荐：将物品推荐视为逐 token 生成，模仿草案模型接收目标模型验证的过程，对推荐序列中被“拒绝”的错误 token 进行重播与针对性蒸馏，提升生成质量。
- 接受/拒绝的非对称 KL 设计可复用于轻量级打分模型：在排序或召回阶段，用目标模型（如大模型）监督轻量级模型时，对正确预测和错误预测分别使用 forward KL 和 reverse KL，让轻量模型更专注于自身易错模式。
- 利用验证阶段的暴露错误进行针对性训练：在 Agent 多智体协作中，可记录交互过程中被另一智能体“拒绝”的决策点，对这些状态进行重放学习，使策略模型更聚焦于合作失败的关键状态。
- 解耦 rollout 稳定性和策略信号的思想：在强化学习或蒸馏中，当学生无法独立生成高质量轨迹时，可借助教师辅助 rollout 维持稳定性，再通过锚点重放学生自身的错误决策，兼顾训练稳定与策略改进。